Формула радиуса вписанной в прямоугольный треугольник окружности: r=(a+b-c)/2, где a, b - катеты, с - гипотенуза.

Длина одного катета (допустим, а) нам известна, второй выразим через а и с по теореме Пифагора:

b=√(c²-10²), тогда

3=(10+√(c²-10²)-c)/2
10+√(c²-10²)-c=6

√(c²-10²)=c-10+6

c²-10²=(c-4)²

c²-10²=c²-8c+16

8c=116

c=14,5

Второй катет равен b=√(14,5²-10²)=10,5

Радиус окружности, описанной около прямоугольного треугольника, равен половине длины гипотенузы: R=c/2=14,5/2=7,25.

Кстати, условие, что известный катет - меньший, здесь совсем необязательно.